home *** CD-ROM | disk | FTP | other *** search
/ Skunkware 5 / Skunkware 5.iso / src / X11 / wais / ir / irbuild.c < prev    next >
C/C++ Source or Header  |  1995-05-09  |  34KB  |  943 lines
  1.  
  2. /* WIDE AREA INFORMATION SERVER SOFTWARE:
  3.    No guarantees or restrictions.  See the readme file for the full standard
  4.    disclaimer.
  5.  
  6.    Brewster@think.com
  7. */
  8.  
  9. #ifndef lint
  10. static char *RCSid = "$Header: /y/src/wais/wais-8-b5/ir/RCS/irbuild.c,v 1.47.1.1 1992/07/11 01:01:21 curtisg Exp curtisg $";
  11. #endif
  12.  
  13. /*
  14.  * Building an index with a Unix shell interface.
  15.  *
  16.  * -brewster 6/90
  17.  */
  18.  
  19. /* Change log:
  20.  * added -stdio option from jik@athena.mit.edu
  21.  * $Log: irbuild.c,v $
  22.  *
  23.  * M000, 28-May-93, hess
  24.  * mods for ERG database files.
  25.  * same as mail type, but bails out after ~200 lines, avoids large, large
  26.  * indexes..., since many times the "From " portion of the file is indented
  27.  * our mail threads look like one large piece of mail, which is ok, they 
  28.  * are intended to be read as a whole. But we still need to make sure 
  29.  * they are'nt broken up, so never let the seperator routine return true
  30.  *
  31.  * Revision 1.47.1.1  1992/07/11  01:01:21  curtisg
  32.  * Changes for SCO UNIX
  33.  *
  34.  * Revision 1.47  92/05/10  14:48:17  jonathan
  35.  * Updated for release.
  36.  * 
  37.  * Revision 1.46  92/05/08  10:03:17  jonathan
  38.  * Adjusted memory paramters.  It's closer...
  39.  * 
  40.  * Revision 1.45  92/05/06  17:26:46  jonathan
  41.  * Added switch for indexing contents, new user-specified type name, new type:
  42.  * filename, which only puts the name of the file in the header.
  43.  * 
  44.  * Revision 1.44  92/04/25  21:14:35  brewster
  45.  * added ziff
  46.  * 
  47.  * Revision 1.43  92/04/22  15:29:13  jonathan
  48.  * Added jargon to usage message.
  49.  * 
  50.  * Revision 1.42  92/04/01  17:08:50  jonathan
  51.  * Added FTP type.
  52.  * 
  53.  * Revision 1.41  92/03/25  18:49:39  jonathan
  54.  * Added log_level and log_file arguments.
  55.  * 
  56.  * Revision 1.40  92/03/22  18:38:14  brewster
  57.  * added objective C filter
  58.  * 
  59.  * Revision 1.39  92/03/20  11:02:44  jonathan
  60.  * Added code to handle switches for word_pairs and word_postition info.
  61.  * 
  62.  * Revision 1.38  92/03/17  07:34:32  jonathan
  63.  * Fixed spacing in usage message.
  64.  * 
  65.  * Revision 1.37  92/03/10  10:42:51  morris
  66.  * fixed small bug in command line argument handleing.  doesn't die if there
  67.  * are no args.
  68.  * 
  69.  * Revision 1.36  92/03/05  07:05:32  shen
  70.  * add cm grow percent and textsize to command line and init search engine
  71.  * 
  72.  * Revision 1.35  92/03/04  16:34:09  jonathan
  73.  * Set wais_pid from getpid().
  74.  * 
  75.  * Revision 1.34  92/02/20  09:49:37  jonathan
  76.  * Added bibtex and nhyp filters from S.P.vandeBurgt@research.ptt.nl.
  77.  * 
  78.  * Revision 1.33  92/02/17  14:21:08  jonathan
  79.  * Added switch to disable creation of catalog (-nocat).
  80.  * 
  81.  * Revision 1.32  92/02/17  12:41:55  jonathan
  82.  * Added RCSid.
  83.  * 
  84.  * Revision 1.31  92/02/17  12:41:01  jonathan
  85.  * Build catalog after completion of indexing.
  86.  * 
  87.  * Revision 1.30  92/02/12  13:22:53  jonathan
  88.  * Added "$Log" so RCS will put the log message in the header
  89.  * 
  90.  */
  91.  
  92. /* to do:
  93.  *   done: make incremental indexing not index things that are already index
  94.  *   add extra arg -register that will send in description of the server to 
  95.  *           the directory of servers.
  96.  *   done: create a source struct in the .src file
  97.  *   make it continuously index to keep itself uptodate.
  98.  *
  99.  */
  100.  
  101. #include <string.h>
  102. #include <sys/types.h>
  103. #include <sys/param.h>
  104. #include <sys/stat.h>
  105. #include "irdirent.h"
  106. #include "cutil.h"
  107. #include "futil.h"
  108. #include "irfiles.h"
  109. #include "irtfiles.h"
  110. #include "panic.h"
  111. #include "ircfiles.h"
  112. #include "version.h"
  113. #include "irext.h"
  114.  
  115. #define INDEXER_DATE "Sun May 10 1992"
  116.  
  117. /* for reporting errors, in WAIStation it is defined in CRetrievalApp.c */
  118.  
  119. extern boolean indexingForBeta;
  120.  
  121. struct file_type {
  122.     char *name;
  123.     char *description;
  124.     char *type;
  125.     boolean (*separator_function)();
  126.     void (*header_function)();
  127.     long (*date_function)();
  128.     void (*finish_header_function)();
  129.     boolean index_contents;
  130. } file_type_list[] = {
  131.     {"groliers",
  132.     "groliers encyclopedia special format",
  133.     "TEXT", groliers_separator_function, groliers_header_function, 0, groliers_finish_header_function, 1},
  134. #ifdef NEXT
  135.     {"objc",
  136.     "objective-C .h and .m files",
  137.     "TEXT", qobjc_separator_function, wobj_header_function, 0, wobj_finish_header_function, 1},
  138. #endif /* NEXT */
  139.     {"mail",
  140.     "mail format",
  141.     "TEXT", mail_or_rmail_separator, mail_header_function, mail_date_function, mail_finish_header_function, 1},
  142.     {"mail_or_rmail",
  143.     "mail or rmail or both",
  144.     "TEXT", mail_or_rmail_separator, mail_header_function, mail_date_function, mail_finish_header_function, 1},
  145.     {"mail_digest",
  146.     "standard internet mail digest format",
  147.     "TEXT", mail_digest_separator_function, mail_header_function, mail_date_function, mail_finish_header_function, 1},
  148.     {"mh_bboard",
  149.     "MH bulletin board format",
  150.     "TEXT", mh_bboard_separator_function, mail_header_function, 0, mail_finish_header_function, 1},
  151.     {"rmail",
  152.     "rmail format",
  153.     "TEXT", rmail_separator_function, mail_header_function, mail_date_function, mail_finish_header_function, 1},
  154.     {"netnews",
  155.     "netnews format",
  156.     "TEXT", 0, mail_header_function, mail_date_function, mail_finish_header_function, 1},
  157.     {"rn",
  158.     "netnews saved by the [rt]?rn newsreader",
  159.     "TEXT", rn_separator_function, mail_header_function, mail_date_function, mail_finish_header_function, 1},
  160.     {"emacsinfo",
  161.     "the GNU documentation system",
  162.     "TEXT", emacs_info_separator_function, emacs_info_header_function, 0, emacs_info_finish_header_function, 1},
  163.     {"catalog",
  164.     "??",
  165.     "TEXT", catalog_separator_function, catalog_header_function, 0, catalog_finish_header_function, 1},
  166.     {"bio",
  167.     "biology abstract format",
  168.     "TEXT", bio_separator_function, bio_header_function, 0, bio_finish_header_function, 1},
  169.     {"cmapp",
  170.     "CM applications from Hypercard",
  171.     "TEXT", cmapp_separator_function, cmapp_header_function, 0, cmapp_finish_header_function, 1},
  172.     {"ftp",
  173.     "special type for FTP files.  First line of file is headline",
  174.     "TEXT", first_line_separator_function, first_line_header_function, 0, first_line_finish_header_function, 1},
  175.     {"jargon",
  176.     "Jargon File 2.9.8 format",
  177.     "TEXT", jargon_separator_function, jargon_header_function, 0, jargon_finish_header_function, 1},
  178.     {"server",
  179.     "server structures for the dir of servers",
  180.     "WSRC", 0, 0, 0, filename_finish_header_function},
  181.     {"text",
  182.     "simple text files, this is the default",
  183.     "TEXT", 0,0,0,0, 1},
  184.     {"filename",
  185.     "uses only the filename part of the pathname for the title",
  186.     "TEXT", 0,0,0, filename_finish_header_function, 1},
  187.     {"irg",
  188.     "internet resource guide",
  189.     "TEXT", irg_separator_function, irg_header_function, 0, irg_finish_header_function, 1},
  190.     {"dash",
  191.     "entries separated by a row of dashes",
  192.     "TEXT", dash_separator_function, dash_header_function, 0, dash_finish_header_function, 1},
  193.     {"one_line",
  194.     "each line is a document",
  195.     "TEXT", one_line_separator_function, one_line_header_function, 0, one_line_finish_header_function, 1},
  196.     {"para",
  197.     "paragraphs separated by blank lines",
  198.     "TEXT", para_separator_function, para_header_function, 0, para_finish_header_function, 1},
  199.     {"seeker",
  200.     "??",
  201.     "TEXT", seeker_separator_function, seeker_header_function, 0, seeker_finish_header_function, 1},
  202.     {"medline",
  203.     "medline format",
  204.     "TEXT", medline_separator_function, medline_header_function, 0, medline_finish_header_function, 1},
  205.     {"refer",
  206.     "refer format",
  207.     "TEXT", refer_separator_function, refer_header_function, 0, refer_finish_header_function, 1},
  208.     {"first_line",
  209.     "first line of file is headline",
  210.     "TEXT", first_line_separator_function, first_line_header_function, 0, first_line_finish_header_function, 1},
  211.     {"rlin",
  212.     "??",
  213.     "TEXT", rlin_separator_function, rlin_header_function, 0, rlin_finish_header_function, 1},
  214.     {"dvi",
  215.     "dvi format",
  216.     "DVI", 0, 0, 0, filename_finish_header_function, 1},
  217.     {"ps",
  218.     "postscript format ",
  219.     "PS", 0, 0, 0, filename_finish_header_function, 0},
  220.     {"pict",
  221.     "pict files, only indexes the filename",
  222.     "PICT", 0, 0, 0, filename_finish_header_function, 0},
  223.     {"gif",
  224.     "gif files, only indexes the filename",
  225.     "GIF", 0, 0, 0, filename_finish_header_function, 0},
  226.     {"tiff",
  227.     "tiff files, only indexes the filename",
  228.     "TIFF", 0, 0, 0, filename_finish_header_function, 0},
  229.     {"bibtex",
  230.     "BibTeX / LaTeX format",
  231.     "TEXT", bibtex_separator_function, bibtex_header_function, 0, bibtex_finish_header_function, 1},
  232.     {"nhyp",
  233.     "?:? hyper text format, Polytechnic of Central London",
  234.     "TEXT", nhyp_separator_function, nhyp_header_function, 0, nhyp_finish_header_function, 1},
  235.     {"ziff",
  236.     "ziff special format",
  237.     "TEXT", ziff_separator_function, ziff_header_function, 0, ziff_finish_header_function, 1},
  238. #ifdef /* sco */ M_UNIX
  239.     {"erg_mail_thread",
  240.     "SCO ERG mail thread format",
  241.     "TEXT",     erg_thread_separator_function, 
  242.         erg_thread_header_function, 
  243.             mail_date_function, 
  244.             erg_thread_finish_header_function, 1},
  245.     {"mmdf",
  246.     "MMDF mail folder format",
  247.     "TEXT",     mmdf_separator_function, 
  248.         mail_header_function, 
  249.         mail_date_function, 
  250.         mail_finish_header_function, 1},
  251. #endif
  252.     0
  253. };
  254.  
  255.  
  256. void usage(command)
  257. char *command;
  258. {
  259.  /* no args */
  260.   struct file_type *t;
  261.   int first;
  262.  
  263.   fprintf(stderr,"Usage: %s [-d index_filename]\n", command);
  264.   fprintf(stderr,"          [-a] /* adding to an existing index, otherwise it erases the index */\n");
  265.   fprintf(stderr,"          [-r] /* recursively index subdirectories */\n");
  266.   fprintf(stderr,"          [-mem mbytes] /* number of megabytes to run this in */\n");
  267.   fprintf(stderr,"          [-register] /* registers the database with the directory of servers.\n");
  268.   fprintf(stderr,"                         This should be done with care. */\n");
  269.   fprintf(stderr,"          [-export] /* uses short dbname and port 210 */\n");
  270.   fprintf(stderr,"          [-e [file]] /* set log output to file, or /dev/null if not specified */\n");
  271.   fprintf(stderr,"          [-f [filter]] /* run filter on each file before indexing */\n");
  272.   fprintf(stderr,"          [-l log_level] /* set log level.  0 means log nothing,\n");
  273.   fprintf(stderr,"                            10 [the default] means log everything */\n");
  274.   fprintf(stderr,"          [-v] /* print the version of the software */\n");
  275.   fprintf(stderr,"          [-stdin] /* read file names from stdin */\n");
  276.   fprintf(stderr,"          [-pos | -nopos] /* include (don't include - default) word position information /*\n");
  277.   fprintf(stderr,"          [-nopairs | -pairs] /* don't include (or include - default) word pairs /*\n");
  278.   fprintf(stderr,"          [-nocat] /* inhibit creation of catalog /*\n");
  279.   fprintf(stderr,"          [-contents] /* Index the contents: this is good for types that\n");
  280.   fprintf(stderr,"                         inhibit the indexing of the contents (like gif). /*\n");
  281.   fprintf(stderr,"          [-nocontents] /* Index only the filename, not the contents /*\n");
  282.   fprintf(stderr,"          [-cmmem  mem%] /* percent of CM memory (CM code only) */\n");
  283.   fprintf(stderr,"          [-T  type] /* type becomes the \"TYPE\" of the document. */\n");
  284.   fprintf(stderr,"          [-t    /* format of the file. if none then each file is a document */\n");
  285.   for (t=file_type_list, first=0; t->name; t++, first++) {
  286.       fprintf(stderr,"             %c %s /* %s */\n", first ? '|' : ' ', t->name, t->description);
  287.   }
  288. #if 0
  289.   fprintf(stderr,"             text /* simple text files, this is the default */\n");
  290.   fprintf(stderr,"           | bibtex /* BibTeX / LaTeX format */\n");
  291.   fprintf(stderr,"           | bio /* biology abstract format */\n");
  292.   fprintf(stderr,"           | cmapp /* CM applications from Hypercard */\n");
  293.   fprintf(stderr,"           | dash /* entries separated by a row of dashes */\n");
  294.   fprintf(stderr,"           | dvi /* dvi format */\n");     
  295.   fprintf(stderr,"           | emacsinfo /* the GNU documentation system */\n");
  296.   fprintf(stderr,"           | first_line /* first line of file is headline */\n");
  297.   fprintf(stderr,"           | filename /* uses only the filename part of the pathname for the title */\n");
  298.   fprintf(stderr,"           | ftp /* special type for FTP files.  First line of file is headline */\n");
  299.   fprintf(stderr,"           | gif /* gif files, only indexes the filename */\n");
  300.   fprintf(stderr,"           | irg /* internet resource guide */\n");
  301.   fprintf(stderr,"           | jargon /* Jargon File 2.9.8 format*/\n");
  302.   fprintf(stderr,"           | mail_digest /* standard internet mail digest format */\n");
  303.   fprintf(stderr,"           | mail_or_rmail /* mail or rmail or both */\n");
  304.   fprintf(stderr,"           | medline /* medline format */\n");
  305.   fprintf(stderr,"           | mh_bboard /* MH bulletin board format */\n");
  306.   fprintf(stderr,"           | netnews /* netnews format */\n");
  307.   fprintf(stderr,"           | nhyp /* ?:? hyper text format, Polytechnic of Central London */\n");
  308.   fprintf(stderr,"           | one_line /* each line is a document */\n");
  309.   fprintf(stderr,"           | para /* paragraphs separated by blank lines */\n");
  310.   fprintf(stderr,"           | pict /* pict files, only indexes the filename */\n");
  311.   fprintf(stderr,"           | ps /* postscript format */\n");
  312.   fprintf(stderr,"           | refer /* refer format */\n");
  313.   fprintf(stderr,"           | rn /* netnews saved by the [rt]?rn newsreader */\n");
  314.   fprintf(stderr,"           | server /* server structures for the dir of servers */\n");
  315. #ifdef NeXT
  316.   fprintf(stderr,"           | objc /* objective-C .h and .m files */\n");
  317. #endif /* def NeXT */
  318.   fprintf(stderr,"           | tiff /* tiff files, only indexes the filename */\n");
  319. #endif /* 0 */
  320.   fprintf(stderr,"          ] filename filename ...\n");
  321. }
  322.  
  323. char *log_file_name = NULL;
  324. FILE *logfile;
  325.  
  326. extern boolean index_contents;
  327. extern boolean filter_contents;
  328. extern char filter_program[];
  329.  
  330.  
  331. #define set(a,b) if (b) (a)=(b)
  332.  
  333. /* This is the MAIN for building an index.
  334.  */
  335. void
  336. main(argc, argv)
  337. int argc;
  338. char *argv[];
  339. {
  340.   database* db = NULL;
  341.   long argc_copy = argc;
  342.   char **argv_copy = argv;
  343.   char *next_argument;
  344.   char index_filename[1000];
  345.   boolean (*separator_function)();
  346.   void (*header_function)();
  347.   void (*finish_header_function)();
  348.   long (*date_function)();
  349.   boolean adding_to_existing_index = false;
  350.   boolean traverse_directory = false;
  351.   boolean word_positions = false;
  352.   boolean word_pairs = true;
  353.   long memory_to_use = -1;
  354.   long cm_mem_percent = 0;  /* default */
  355.   long grow_percent = 0;  /* default */
  356.   long text_size = 0;  /* default */
  357.   boolean check_for_text_file = false;
  358.   boolean register_database = false;
  359.   boolean export_database = false;
  360.   boolean read_files_from_stdin = false;
  361.   boolean make_catalog = true;
  362.   char data_filename[MAX_PATH_NAME_LEN];
  363.   char *typename = NULL;  /* this is what the user said */
  364.   char type[256];
  365. /*  char *type = NULL;      /* this is the type stored with the db */
  366.   long start_of_filenames;
  367.   long hashtable_size = 1L<<16;
  368.   long flush_after_n_words = 300000;
  369.   char *command_name;
  370.   struct file_type *t;
  371.  
  372.   next_argument = next_arg(&argc, &argv);
  373.   separator_function = NULL; /* initailize to nil */
  374.   header_function = NULL;
  375.   date_function = NULL;
  376.   finish_header_function = NULL;
  377. /*  type = "TEXT"; /* default to text */
  378.     strcpy(type, "TEXT");
  379.   typename = "Text"; 
  380.  
  381.   command_name = next_argument;
  382.  
  383.   logfile = stderr;
  384.   wais_pid = getpid();
  385.  
  386.   if(0 == argc) {
  387.     usage(command_name);
  388.     exit(0);
  389.   }
  390.  
  391. #ifdef THINK_C
  392.   strcpy(index_filename, "wais:System Folder:wais-index:index");
  393. #else
  394.   strcpy(index_filename, "index"); /* in the current directory */
  395. #endif /* THINK_C */
  396.   
  397.   if(NULL == (next_argument = next_arg(&argc, &argv))){
  398.     fprintf(stderr,"No arguments specified\n");
  399.     exit(0);
  400.   }
  401.   while((next_argument != NULL) && '-' == next_argument[0]){
  402.     /* then we have an argument to process */
  403.     if((0 == strcmp("-i", next_argument)) || /* -i is for backcompatibility */
  404.        (0 == strcmp("-d", next_argument))){
  405.       if(NULL == (next_argument = next_arg(&argc, &argv))){
  406.     fprintf(stderr,"Expected filename for the index\n");
  407.     exit(0);
  408.       }
  409.       strcpy(index_filename, next_argument);
  410.       }
  411.     else if(0 == strcmp("-a", next_argument)){
  412.       adding_to_existing_index = true;
  413.     }
  414.     else if(0 == strcmp("-r", next_argument)){
  415.       traverse_directory = true;
  416.     }
  417.     else if(0 == strcmp("-register", next_argument)){
  418.       register_database = true;
  419.     }
  420.     else if(0 == strcmp("-export", next_argument)){
  421.       export_database = true;
  422.     }
  423.     else if(0 == strcmp("-f", next_argument)){
  424.       if(NULL == (next_argument = next_arg(&argc, &argv))){
  425.     fprintf(stderr,"Expected filter for -f\n");
  426.     exit(1);
  427.       }
  428.       strcpy(filter_program, next_argument);
  429.       filter_contents = TRUE;
  430.     }
  431.     else if(0 == strcmp("-v", next_argument)){
  432.       fprintf(stderr,"%s: %s\n", command_name, VERSION, INDEXER_DATE);
  433.     }
  434.     else if (0 == strcmp("-stdin", next_argument)) {
  435.       read_files_from_stdin = true;
  436.     }
  437.     else if (0 == strcmp("-nopos", next_argument)) {
  438.       word_positions = false;
  439.     }
  440.     else if (0 == strcmp("-pos", next_argument)) {
  441.       word_positions = true;
  442.     }
  443.     else if (0 == strcmp("-nopairs", next_argument)) {
  444.       word_pairs = false;
  445.     }
  446.     else if (0 == strcmp("-pairs", next_argument)) {
  447.       word_pairs = true;
  448.     }
  449.     else if (0 == strcmp("-nocat", next_argument)) {
  450.       make_catalog = false;
  451.     }
  452.     else if(0 == strcmp("-mem", next_argument)){
  453.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  454.     panic("Expected a number for the amount of memory to use");
  455.       memory_to_use = atol(next_argument);
  456.       if(memory_to_use < 1)
  457.     panic("The -mem argument should not be less than 1");
  458.       if(memory_to_use > 200)
  459.     fprintf(stderr,"Warning: The -mem parameter was %ld Mbytes.  That is a large number of mega bytes in current machines\n", memory_to_use);
  460.     }
  461.     else if(0 == strcmp("-cmmem", next_argument)){
  462.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  463.     panic("Expected a number (1-100) for percentage of memory to use");
  464.       cm_mem_percent = atol(next_argument);
  465.       if(cm_mem_percent < 1)
  466.     panic("The -cmmem argument should not be less than 1 and less than 100");
  467.       if(cm_mem_percent > 100)
  468.     panic("Warning: The -cmmem parameter was %ld%%. It should be between 1-100.", cm_mem_percent);
  469.     }
  470.     else if(0 == strcmp("-grow", next_argument)){
  471.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  472.         panic("Expected a number (1-100) for database growing percentage");
  473.       grow_percent = atol(next_argument);
  474.       if(grow_percent < 1)
  475.         panic("The -grow argument should not be less than 1");
  476.     }
  477.     else if(0 == strcmp("-textsize", next_argument)){
  478.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  479.         panic("Expected a number for text size in megabytes");
  480.       text_size = atol(next_argument);
  481.       if(text_size < 1)
  482.         panic("The -textsize argument should not be less than 1");
  483.     }
  484.     else if (0 == strcmp("-e", next_argument)) {
  485.       char *peek_argument = peek_arg(&argc, &argv);
  486.       log_file_name = "/dev/null"; /* default to /dev/null */
  487.       if ((peek_argument != NULL) &&
  488.       ('-' != peek_argument[0])) {
  489.     log_file_name = next_arg(&argc, &argv);
  490.       }                /* end if (explicit log file) */
  491.     }                /* end if (-e) */
  492.     else if (0 == strcmp("-l", next_argument)) {
  493.       wais_log_level = atol(next_arg(&argc, &argv));
  494.     }                /* end if (-l) */
  495.     else if(0 == strcmp("-cm", next_argument)){
  496.       /* this is an undocumented argument to help use this to
  497.      front end the CM application */
  498.       indexingForBeta = true;
  499.     }
  500.     else if(0 == strcmp("-T", next_argument)){
  501.       /* This is a specification for a "Special" type.  The next argument
  502.      is the type name.  This will not index the body of the file. */
  503.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  504.     panic("Expected a file type");
  505.       typename = next_argument;
  506. /*      type = next_argument;*/
  507.       strcpy(type, next_argument);
  508.       finish_header_function = filename_finish_header_function;
  509.     }
  510.     else if(0 == strcmp("-contents", next_argument)){
  511.       index_contents = true;
  512.     }
  513.     else if(0 == strcmp("-nocontents", next_argument)){
  514.       index_contents = false;
  515.     }
  516.     else if(0 == strcmp("-t", next_argument)){
  517.       /* then we have a specialized file */
  518.       index_contents = true;
  519.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  520.     panic("Expected a file type");
  521.       for(t = file_type_list; t->name; t++) {
  522.       if (strcmp(t->name, next_argument) == 0) {
  523.           typename = t->name;
  524.           strcpy(type, t->type);
  525.           set(separator_function, t->separator_function);
  526.           set(header_function, t->header_function);
  527.           set(date_function, t->date_function);
  528.           set(finish_header_function, t->finish_header_function);
  529.           set(index_contents, t->index_contents);
  530.           goto found;
  531.       }
  532.       }
  533.       panic("Don't recognize the '%s' type", next_argument);
  534.  
  535. found:
  536.       ;
  537.  
  538. #if 0
  539.       if(0 == strcmp("groliers", next_argument)){
  540.     typename = next_argument;
  541.     type = "TEXT";
  542.     separator_function = groliers_separator_function;
  543.     header_function = groliers_header_function;
  544.     finish_header_function = groliers_finish_header_function;
  545.       }
  546. #ifdef NeXT
  547.       else if(0 == strcmp("objc", next_argument)){
  548.     typename = next_argument;
  549.     type = "TEXT";
  550.     separator_function = wobjc_separator_function;
  551.     header_function = wobjc_header_function;
  552.     finish_header_function = wobjc_finish_header_function;
  553.       }
  554. #endif /* def NeXT */
  555.       else if(0 == strcmp("mail", next_argument)){
  556.     typename = next_argument;
  557.     type = "TEXT";
  558.     separator_function = mail_separator_function;
  559.     header_function = mail_header_function;
  560.     date_function = mail_date_function;
  561.     finish_header_function = mail_finish_header_function;
  562.       }
  563.       else if(0 == strcmp("erg_mail_thread", next_argument)){
  564.     typename = next_argument;
  565.     type = "TEXT";
  566.     separator_function = erg_thread_separator_function;
  567.     header_function = erg_thread_header_function;
  568.     date_function = mail_date_function;
  569.     finish_header_function = erg_thread_finish_header_function;
  570.       }
  571.       else if(0 == strcmp("mail_or_rmail", next_argument)){
  572.     typename = next_argument;
  573.     type = "TEXT";
  574.     separator_function = mail_or_rmail_separator;
  575.     header_function = mail_header_function;
  576.     date_function = mail_date_function;
  577.     finish_header_function = mail_finish_header_function;
  578.       }
  579.       else if(0 == strcmp("mail_digest", next_argument)){
  580.     typename = next_argument;
  581.     type = "TEXT";
  582.     separator_function = mail_digest_separator_function;
  583.      header_function = mail_header_function;
  584.      date_function = mail_date_function;
  585.      finish_header_function = mail_finish_header_function;
  586.       }
  587.       else if(0 == strcmp("mh_bboard", next_argument)){
  588.      typename = next_argument;
  589.      type = "TEXT";
  590.      separator_function = mh_bboard_separator_function;
  591.     header_function = mail_header_function;
  592.     date_function = mail_date_function;
  593.     finish_header_function = mail_finish_header_function;
  594.       }
  595.       else if(0 == strcmp("rmail", next_argument)){
  596.     typename = next_argument;
  597.     type = "TEXT";
  598.     separator_function = rmail_separator_function;
  599.     header_function = mail_header_function;
  600.     date_function = mail_date_function;
  601.     finish_header_function = mail_finish_header_function;
  602.       }
  603.       else if(0 == strcmp("netnews", next_argument)){
  604.     typename = next_argument;
  605.     type = "TEXT";
  606.     separator_function = NULL;
  607.     header_function = mail_header_function;
  608.     date_function = mail_date_function;
  609.     finish_header_function = mail_finish_header_function;
  610.       }
  611.       else if(0 == strcmp("rn", next_argument)){
  612.     typename = next_argument;
  613.     type = "TEXT";
  614.     separator_function = rn_separator_function;
  615.     header_function = mail_header_function;
  616.     date_function = mail_date_function;
  617.     finish_header_function = mail_finish_header_function;
  618.       }
  619.       else if(0 == strcmp("emacsinfo", next_argument)){
  620.     typename = next_argument;
  621.     type = "TEXT";
  622.     separator_function = emacs_info_separator_function;
  623.     header_function = emacs_info_header_function;
  624.     finish_header_function = emacs_info_finish_header_function;
  625.       }
  626.       else if(0 == strcmp("catalog", next_argument)){
  627.     typename = next_argument;
  628.     type = "TEXT";
  629.     separator_function = catalog_separator_function;
  630.     header_function = catalog_header_function;
  631.     finish_header_function = catalog_finish_header_function;
  632.       }
  633.       else if(0 == strcmp("bio", next_argument)){
  634.     typename = next_argument;
  635.     type = "TEXT";
  636.     separator_function = bio_separator_function;
  637.     header_function = bio_header_function;
  638.     finish_header_function = bio_finish_header_function;
  639.       }
  640.       else if(0 == strcmp("cmapp", next_argument)){
  641.     typename = next_argument;
  642.     type = "TEXT";    
  643.     separator_function = cmapp_separator_function;
  644.     header_function = cmapp_header_function;
  645.     finish_header_function = cmapp_finish_header_function;
  646.       }
  647.       else if(0 == strcmp("ftp", next_argument)){
  648.     type = "TEXT-FTP";
  649.     typename = next_argument;
  650.     separator_function = first_line_separator_function;
  651.     header_function = first_line_header_function;
  652.     finish_header_function = first_line_finish_header_function;
  653.       }
  654.       else if(0 == strcmp("jargon", next_argument)){
  655.     typename = next_argument;
  656.     type = "TEXT";
  657.     separator_function = jargon_separator_function;
  658.     header_function = jargon_header_function;
  659.     finish_header_function = jargon_finish_header_function;
  660.       }
  661.       else if(0 == strcmp("server", next_argument)){
  662.     typename = next_argument;
  663.     type = "WSRC";
  664.     finish_header_function = filename_finish_header_function;
  665.       }
  666.       else if(0 == strcmp("text", next_argument)){
  667.     type = "TEXT";
  668.     typename = next_argument;
  669.     check_for_text_file = true;
  670.       }
  671.       else if(0 == strcmp("filename", next_argument)){
  672.     type = "TEXT";
  673.     typename = next_argument;
  674.     finish_header_function = filename_finish_header_function;
  675.       }
  676.       else if(0 == strcmp("irg", next_argument)){
  677.     typename = next_argument;
  678.     type = "TEXT";
  679.     separator_function = irg_separator_function;
  680.     header_function = irg_header_function;
  681.     finish_header_function = irg_finish_header_function;
  682.       }
  683.       /* dash-separated items , Intro to Algorithms buglist, etc */
  684.       else if(0 == strcmp("dash", next_argument)){
  685.     type = "TEXT";
  686.     typename = next_argument;
  687.     separator_function = dash_separator_function;
  688.     header_function = dash_header_function;
  689.     finish_header_function = dash_finish_header_function;
  690.       }
  691.       /* one_line-separated items */
  692.       else if(0 == strcmp("one_line", next_argument)){
  693.     type = "TEXT";
  694.     typename = next_argument;
  695.     separator_function = one_line_separator_function;
  696.     header_function = one_line_header_function;
  697.     finish_header_function = one_line_finish_header_function;
  698.       }
  699.       /* blank line-separated items (paragraphs) */
  700.       else if(0 == strcmp("para", next_argument)){
  701.     type = "TEXT";
  702.     typename = next_argument;
  703.     separator_function = para_separator_function;
  704.     header_function = para_header_function;
  705.     finish_header_function = para_finish_header_function;
  706.       }
  707.       /* seeker items */
  708.       else if(0 == strcmp("seeker", next_argument)){
  709.     type = "TEXT";
  710.     typename = next_argument;
  711.     separator_function = seeker_separator_function;
  712.     header_function = seeker_header_function;
  713.     finish_header_function = seeker_finish_header_function;
  714.       }
  715.       /* medline format */
  716.       else if(0 == strcmp("medline", next_argument)){
  717.     type = "TEXT";
  718.     typename = next_argument;
  719.     separator_function = medline_separator_function;
  720.     header_function = medline_header_function;
  721.     finish_header_function = medline_finish_header_function;
  722.       }
  723.       /* refer format */
  724.       else if(0 == strcmp("refer", next_argument)){
  725.     type = "TEXT";
  726.     typename = next_argument;
  727.     separator_function = refer_separator_function;
  728.     header_function = refer_header_function;
  729.     finish_header_function = refer_finish_header_function;
  730.       }
  731.       /* first_line format */
  732.       else if(0 == strcmp("first_line", next_argument)){
  733.     type = "TEXT";
  734.     typename = next_argument;
  735.     separator_function = first_line_separator_function;
  736.     header_function = first_line_header_function;
  737.     finish_header_function = first_line_finish_header_function;
  738.       }
  739.       /* rlin items */
  740.       else if(0 == strcmp("rlin", next_argument)){
  741.     type = "TEXT";
  742.     typename = next_argument;
  743.     separator_function = rlin_separator_function;
  744.     header_function = rlin_header_function;
  745.     finish_header_function = rlin_finish_header_function;
  746.       }
  747.       else if(0 == strcmp("dvi", next_argument)){
  748.     typename = next_argument;
  749.     type = "DVI";
  750.     finish_header_function = filename_finish_header_function;
  751.       }
  752.       else if(0 == strcmp("ps", next_argument)){
  753.     typename = next_argument;
  754.     type = "PS";
  755.     finish_header_function = filename_finish_header_function;
  756.       }
  757.       else if(0 == strcmp("pict", next_argument)){
  758.     typename = next_argument;
  759.     type = "PICT";    
  760.     finish_header_function = filename_finish_header_function;
  761.     index_contents = false;
  762.       }
  763.       else if(0 == strcmp("gif", next_argument)){
  764.     typename = next_argument;
  765.     type = "GIF";    
  766.     finish_header_function = filename_finish_header_function;
  767.     index_contents = false;
  768.       }
  769.       else if(0 == strcmp("tiff", next_argument)){
  770.     typename = next_argument;
  771.     type = "TIFF";    
  772.     finish_header_function = filename_finish_header_function;
  773.     index_contents = false;
  774.       }
  775.       /* BibTeX items */
  776.       else if(0 == strcmp("bibtex", next_argument)){
  777.     type = "TEXT";
  778.     typename = next_argument;
  779.     separator_function = bibtex_separator_function;
  780.     header_function = bibtex_header_function;
  781.     finish_header_function = bibtex_finish_header_function;
  782.       }
  783.       /* ?:? seperated hypertext items */
  784.       else if(0 == strcmp("nhyp", next_argument)){
  785.     type = "TEXT";
  786.     typename = next_argument;
  787.     separator_function = nhyp_separator_function;
  788.     header_function = nhyp_header_function;
  789.     finish_header_function = nhyp_finish_header_function;
  790.       }
  791.       else if(0 == strcmp("ziff", next_argument)){
  792.     type = "TEXT";
  793.     typename = next_argument;
  794.     separator_function = ziff_separator_function;
  795.     header_function = ziff_header_function;
  796.     finish_header_function = ziff_finish_header_function;
  797.       }
  798.       else{
  799.     panic("Don't recognize the '%s' type", next_argument);
  800.       }
  801. #endif /* 0 */
  802.     }
  803.     else{
  804.       panic("Don't recognize the '%s' option", next_argument);
  805.     }
  806.  
  807.     next_argument = next_arg(&argc, &argv);
  808.     if (! (read_files_from_stdin || next_argument)) {
  809.       fprintf(stderr,"No files specified\n");
  810.       exit(0);
  811.     }
  812.   }
  813.   start_of_filenames = argc_copy - argc - 1;
  814.  
  815.   /* check index */
  816.   if(0 == strlen(pathname_name(index_filename))){
  817.     waislog(WLOG_HIGH, WLOG_ERROR,
  818.         "The pathname specified for the destination of the index files ('%s') should have a leaf filename without an extention rather than just a directory.",
  819.         index_filename);
  820.     exit(0);     
  821.   }
  822.     
  823.   waislog(WLOG_MEDIUM, WLOG_INDEX, "Starting to build database %s",
  824.       index_filename);
  825.  
  826.   if(0 != init_search_engine(index_filename, false, false, cm_mem_percent,
  827.           text_size, grow_percent))
  828.     panic("unable to initialize search engine");
  829.  
  830.   if(true == adding_to_existing_index){
  831.     db = openDatabase(index_filename, false, false);
  832.     if (db == NULL){ /* does not exist, create one */
  833.       db = openDatabase(index_filename, true, false);
  834.       if (db == NULL)
  835.     panic("unable to open the database");
  836.     }
  837.   }
  838.   else{
  839.     db = openDatabase(index_filename, true, false);
  840.     if (db == NULL)
  841.       panic("unable to open the database");
  842.   }
  843.   { /* set up the memory hashtable */
  844.  
  845.     if(memory_to_use < 0){ /* default */
  846.       /* do nothing */
  847.     }
  848.     else if(memory_to_use <= 2){
  849.       hashtable_size = 1L<<16;
  850.       flush_after_n_words = 50000;
  851.     }
  852.     else if(memory_to_use <= 5){
  853.       hashtable_size = 1L<<16;
  854.       flush_after_n_words = 150000;
  855.     }
  856.     else if(memory_to_use <= 10){
  857.       /* shown to take about 6MB on a sun4, when it is dict limited */
  858.       hashtable_size = 1L<<16;
  859.       flush_after_n_words = 300000;
  860.     }
  861.     else if(memory_to_use <= 20){
  862.       hashtable_size = 1L<<17;
  863.       flush_after_n_words = 600000;
  864.     }
  865.     else{ /* over 20 Mbytes */
  866.       hashtable_size = 1L<<18;
  867.       flush_after_n_words = 1000000;
  868.     }
  869.     init_add_word(db, hashtable_size, flush_after_n_words);
  870.   }
  871.  
  872.   if (read_files_from_stdin) {
  873.     if (0 != (next_argument = fgets(data_filename, MAX_PATH_NAME_LEN, stdin))) {
  874.       int len = strlen(next_argument);
  875.       if (next_argument[len-1] == '\n') {
  876.     next_argument[len-1] = '\0';
  877.       }
  878.     }
  879.   }
  880.  
  881.   while(NULL != next_argument){ /* the first filename is in next_argument already */
  882.     if(directoryp(next_argument)){
  883.        if(traverse_directory){
  884.      index_directory(next_argument,
  885.              separator_function,
  886.              header_function,
  887.              date_function,
  888.              finish_header_function,
  889.              type, db,
  890.              check_for_text_file,
  891.              adding_to_existing_index, 
  892.              word_positions, word_pairs);
  893.        }
  894.      }
  895.     else{            /* not a directory */
  896.       waislog(WLOG_MEDIUM, WLOG_INDEX, 
  897.           "Indexing file: %s", next_argument);
  898.       index_text_file(next_argument,
  899.               separator_function,
  900.               header_function,
  901.               date_function,
  902.               finish_header_function,
  903.               type, db, 
  904.               check_for_text_file, adding_to_existing_index,
  905.               word_positions, word_pairs);
  906.     }
  907.     if (read_files_from_stdin) {
  908.       if (0 != (next_argument = fgets(data_filename, MAX_PATH_NAME_LEN, stdin))) {
  909.     int len = strlen(next_argument);
  910.     if (next_argument[len-1] == '\n') {
  911.       next_argument[len-1] = '\0';
  912.     }
  913.       }
  914.     }
  915.     else {
  916.       next_argument = next_arg(&argc, &argv);
  917.     }
  918.   }
  919.   finished_add_word(db);
  920.   {
  921.     char filename[MAX_FILENAME_LEN + 1];
  922.     if(!probe_file(source_filename(filename, db))){
  923.       char database_name[MAX_FILENAME_LEN];
  924.       write_src_structure(source_filename(filename, db),
  925.               export_database?pathname_name(index_filename):
  926.                       truename(index_filename, database_name),
  927.               typename,
  928.               &argv_copy[start_of_filenames],
  929.               argc_copy - start_of_filenames,
  930.               export_database,
  931.               210L);
  932.     }
  933.     /* write out a description of the server if appropriate */
  934.     if(register_database){
  935.       register_src_structure(source_filename(filename, db));
  936.     }
  937.   }
  938.   if(make_catalog) build_catalog(db);
  939.   closeDatabase(db);
  940.   waislog(WLOG_MEDIUM, WLOG_INDEX, "Finished build");
  941.   exit(0);
  942. }
  943.